Trước sức ép mãnh liệt của dư luận và áp lực quân sự của quân Giải phóng, ngày 21 tháng 4 Tổng thống Nguyễn Văn Thiệu phải từ chức. Không lâu sau đó, nhận thấy tình hình là vô vọng, Tướng Cao Văn Viên cũng từ nhiệm vào ngày 27 tháng 4 và xin giải ngũ (đã có quyết định chính thức của tân Tổng thống Trần Văn Hương). Ông giao lại cho Trung tướng Đồng Văn Khuyên xử lý thường vụ Tổng Tham mưu trưởng và ngày 28 tháng 4 đem theo gia đình cùng với gia đình cựu Tổng thống Thiệu lên máy bay di tản đến Đài Loan. Sau đó được sang Hoa Kỳ định cư. Sau khi phu nhân qua đời và không lâu sau đó người con trai duy nhất cũng chết yểu, ông sống bình lặng tại Arlington, Tiểu bang Virginia. Thời gian cuối đời ông sống ở viện dưỡng lão.

Ngày 22 tháng 1 năm 2008, ông từ trần tại nơi định cư, hưởng thọ 87 tuổi.